Centro Federal de Educação Tecnológica de Minas Gerais

"O comportamento das curvas de perda revela que o modelo está sofrendo com overfitting.
A queda contínua da perda de treino não garante que o sistema está pronto porque a queda da validação parou de cair o que indica que o modelo está apenas decorando os resultados da fase de treino e os replicando ao invés de aprender com eles."

"As entradas heterogêneas devem ser representadas pelo uso de hiperparâmetros.
A retropropagação é importante pois permite analisar e ajustar os pesos durante o período de treinamento, permitindo que o modelo consiga um melhor resultado."

"Para confiar no modelo é necessário analisar dados independentes e também montar e analisar a matriz de confusão."

"No começo o modelo estaria passando pela fase de teste e validação e por isso houve muitas taxas de alerta.
Podemos utilizar o AUC como métrica para distinguir as hipóteses de sobreajuste, mudança de distribuição e falha no processo de rotulação."

"A CNN é apropriada porque podemos pegar apenas uma parte dela para usar como modelo e guiar os testes. O restante da base ficaria congelado (com seu todo) e o modelo que está sendo treinado poderia ser ajustado conforme fosse necessário. Durante o ajuste poderia haver um aumento dos dados analisados no modelo para combater a escassez."

"Para evitar conclusões precipitadas poderíamos trocar ou remover as imagens. Se o modelo estivesse tendo melhorias e após essa alteração ele apresentasse uma queda no desempenho, então encontraríamos como resposta uma dependência entre as imagens e as melhorias aplicadas e isso nos afirma que os resultados encontrados estão válidos."

"A premissa de fixar esse limiar é falha porque o valor estabelecido não condiz com a realidade e por isso houve muitos alarmes inúteis.
Estar mal calibrado é justamente isso, incluir valores que não agregam em nada o nosso modelo."

"FP, FN e teto da equipe precisam ser mensurados para determinar o limiar. Se grande parte da equipe não atender os FN porque estiveram ocupados com os FP é grave. É preciso haver pesos em cada uma dessas variáveis, pois a equipe atender FP é aceitável, mas negligenciar FN é gravíssimo."

"Observar queda na curva de validação.
Uma anomalia precisa ser tratada imediatamente e deve-se adicionar ao modelo o que foi aprendido com ela"

"Contextualizados são mais rápidos e usarão a palavra de contexto para prever a palavra central enquanto estáticos usam a palavra central para prever o contexto
A limitação é que o cosseno vai medir o alinhamento vetorial dos documentos recuperados e não vai representar uma probabilidade de relevância do que foi procurado."

"É inadequado medir o sucesso apenas pela proporção de consultas com retorno porque não está sendo analisado as buscas que não retornaram nada e nem investigando se há padrão entre elas."

"Uma abordagem híbrida mesclaria a busca semântica com a busca léxica e essa combinação supera a busca vetorial pura por apresentar uma maior quantidade de fatores (exemplo: termos, identificadores) válidos, fazendo com que seja possível superar as limitações e encontrar um bom resultado."

"A proposta do gestor de fazer com que o sistema sempre mostre o documento de maior escore pois isso elimina a necessidade de regras adicionais é VÁLIDO porque consultas ambíguas, documentos conflitantes e mudanças frequentes nas normas são comuns fazendo com que as respostas automáticas sejam geradas com base nesses fatores."

"É possível tratar documentos com normas conflitantes através de embedding.
Podemos validar a abstenção por meio da similaridade do cosseno."

"Podemos utilizar um early stopping definindo uma paciência X para determinar se houve uma mudança na taxa de abstenção durante um período X de épocas e emita um sinal caso ocorra uma mudança.
Esse sinal fornecerá aos engenheiros a informação de um uso até os dias atuais e quanto tempo o modelo fica sem alterações."